Flow-based Spectral Kernel Learning for Nonstationary Attention
基于流的谱核学习用于非平稳注意力
🧭 注意力核学习 · 线性注意力
The University of Hong Kong · National University of Singapore · Universidad Carlos III de Madrid
FSKA 用归一化流学习非平稳注意力核，移除 QK 投影并固定正交 V 投影，减少参数 40-47% 且保持线性注意力
📌 工作参考价值（4 点）
- 在电商用户行为序列 Transformer 中可替换标准 softmax 注意力为 FSKA：线性注意力内存扩展适合处理长点击/购买序列，避免截断，尤其适合用户长期兴趣建模。
- 投影参数减少 40-47% 的思路可直接用于压缩 CTR/CVR 或 Agent 策略网络的 Transformer 层：移除 query/key 投影、使用固定正交 value 投影，能降低参数量和过拟合风险，适合中小规模业务数据。
- 可学习的非平稳核比固定 softmax/RBF 更灵活，可适应行为序列中时间间隔、事件类型等异构 token 交互；其谱密度正则化方式可迁移到其他基于内积的匹配或聚合层。
- 注意论文聚焦通用序列建模，在推荐/广告数据上的效果需自行验证；更偏组件级参考而非端到端推荐算法。